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摘 要 : 针对 全 国 自 动土 壤 水 分 实时 小 时 观测 资料 ,结合 仪器 标定 方法 土壤 水 文物 理 常 数 等 因 


素 , 研 究 土壤 水 分 固有 变化 特征 ,分 析 蜡 常数 据 误差 来 源 和 浆 值 判定 ,利用 频率 检测 、 界 限 值 检测 、 
无 降水 突变 检测 、 异 常 峰值 检测 、 恒 值 检 测 五 类 方法 对 土壤 水 分 观测 资料 进行 质量 控制 实验 和 检 
验 。 结 果 表 明 :(1) 自动 土壤 水 分 异常 数据 主要 分 为 :粗大 值 . 突 变 、 异 常 峰 值 和 僵 值 ,主要 由 仪器 
失灵 、 土 壤 水 文物 理 常数 测定 不 准 、 传 感 器 标 核 不 合理 等 原因 引起 。(2) 频率 检测 可 有 效 检 出 因 仪 
器 故障 引起 的 错误 数据 。 目 前 该 方法 已 应 用 于 综合 气象 观测 数据 质量 控制 业务 系统 ,用 于 开展 全 


国 实时 自动 土壤 水 分 小 时 数据 的 质量 控制 和 质 


评估 。 
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土壤 水 分 是 研究 土壤 侵蚀 .农作物 旱情 监测 和 
产量 预测 等 的 重要 指标 ,也 是 气候 模型 水 文 模型 、 
生态 模型 以 及 陆 面 过 程 模型 的 关键 参数 之 一 ,监测 
土壤 水 分 对 农业 . 早 情 、 气 候 等 具有 重要 意义 “。 
频 域 反射 (Frequency domain reflectomentry , FDR ) 技 
术 以 其 高 精度 、 高 时 空 分 辩 京 实时、 全 天 候 等 特点 
成 为 目前 最 具 发 展 潜力 的 地 基 土 壤 水 分 监测 技术 
之 一 。 我国 气象 部 门 的 自动 土壤 水 分 观测 站 网 就 
是 基于 该 方法 建立 的 。 土 壤 水 分 在 观测 过 程 中 , 存 
在 多 种 因素 影响 着 FDR 型 传感器 测量 的 准确 性 ,其 
误差 来 源 包括 温度 .土壤 质地 标定 方法 .设备 自身 
稳定 性 和 维护 等 ,影响 了 土壤 水 分 资料 的 业务 应 
用 。 为 充分 发 挥 站 网 数据 在 干旱 监测 预警 .验证 卫 
星 产 品 精度 和 模式 模拟 效果 中 的 作用 , 需 开 展 针对 
数据 质量 影响 因子 及 处 理 算 法 的 研究 。 

不 同 于 常规 气象 观测 数据 ,土壤 水 分 观测 数据 
地 域 空 间 分 布 极 不 均匀 , 受 土壤 质地 和 结构 .标定 
方程 等 的 影响 比较 大 , 目前 还 没有 形成 规范 的 业务 
化 实时 数据 质量 控制 系统 。 近 几 年 ,许多 学 者 致力 
于 人 研究 土壤 水 分 数据 质量 自动 控制 技术 。 张 志 富 
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等 "通过 对 长 序列 人 工 观测 土壤 水 分 数据 极端 值 的 
统计 分 析 ,研制 了 适用 于 全 国 自 动土 壤 水 分 自动 站 
逐 小 时 数据 的 质量 控制 方案 。 王 晓 东 等 “通过 对 人 
工 和 自动 土壤 水 分 数据 间 绝 对 误差 及 相关 性 分 析 ， 
探讨 了 导致 自动 土壤 水 分 数据 误差 的 主要 原因 , 初 
步 确定 了 安徽 省 自动 土壤 水 分 数据 业务 质量 控制 
的 方法 。 王 良 宇 等 "利用 土壤 水 分 自动 数据 间 的 相 
互 关系 ,通过 分 析 监 测 土壤 各 种 参数 特点 ,结合 土 
壤 水 分 再 分 配 规律 ,提出 了 一 种 土壤 水 分 数据 质量 
控制 预警 方法 。 吴 东 丽 等 "利用 范围 检查 .时 变 检 
查 和 持续 性 检查 方法 ,对 0~10 em 土壤 水 分 数据 进 
行 了 检查 和 分 析 。 王 佳 强 等 "引入 地 温 .降水 的 关 
系 , 从 界限 值 检查 .内 部 一 致 性 检查 .时间 一 致 性 检 
查 等 方面 提出 了 一 套 适用 于 全 国 自动 土壤 水 分 观 
测 资料 的 质量 控制 方法 。 上 述 方法 多 采用 设 定 效 
值 的 方法 ,虽然 较为 简单 ,但 能 有 效 识 别 出 国 值 内 
的 异常 值 。 而 Dorigo 等 ”采用 谱 分 析 方 法 ,对 欧洲 
国际 土壤 湿度 网 自动 气象 站 数据 进行 质量 控制 分 
析 ,较为 系统 地 建立 了 筛选 噜 除 蜡 常 值 的 新 方法 。 
此 后 ,各 国学 者 利用 该 方法 开展 了 大 量 人 研究 。 以 上 
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研究 成 果 为 本 文 进行 土壤 水 分 资料 预 处 理 和 质量 
控制 方案 设计 奠定 了 基础 。 

日 前 ,国内 外 广泛 开展 的 土壤 水 分 数据 质量 控 
制 的 研究 对 象 基 本 都 围绕 面向 服务 需求 的 相对 湿 
度 进行 。 但 是 ,在 土壤 水 分 观测 过 程 中 ,土壤 水 文 
物理 特性 测定 值 的 准确 性 、 标 定 方程 的 适用 性 、 仪 
器 安装 的 合理 性 等 问题 都 会 影响 数据 的 准确 性 。 
利用 相对 湿度 作为 土壤 水 分 质量 控制 对 象 ,不 能 
观 反映 出 仪器 状态 好 坏 或 数据 质量 正确 与 否 。 为 
了 提高 土壤 水 分 观测 资料 的 应 用 效益 ,应 从 影响 土 
壤 水 分 数据 质量 的 主要 因素 着 手 建 立 以 频率 和 土 
坏 体 积 含水 量 为 主 ,相对 湿度 等 计算 值 为 辅 的 数据 
质量 控制 方法 尤为 重要 。 

本 文 以 解决 土壤 水 分 观测 数据 存在 的 突出 问题 
为 质量 控制 的 首要 目标 ,借鉴 国外 ISMNQC 方 案 ， 
基于 FDR 型 土壤 水 分 传感器 特殊 的 工作 原理 和 方 
法 ,以 设备 原始 输出 频率 值 和 体积 含水 量 为 对 象 ， 
结合 邻近 自动 气象 站 小 时 降水 和 地 温 数 据 , 人 研究 土 
壤 水 分 数据 固有 变化 规律 ,分 析 各 种 原因 引起 的 错 
误 数 据 表现 形式 和 判定 阔 值 ,初步 设计 和 研制 了 一 
套 较为 实用 的 适用 于 小 时 土壤 水 分 观测 的 异常 数 
据 检 测 方 法 ,以 期 进一步 提高 土壤 水 分 数据 质量 ， 


土壤 水 分 观测 站 资料 ,设计 土壤 水 分 观测 资料 异常 
数据 检测 方法 ,同时 选用 2019 年 6 一 9 月 全 国 自 动 
土壤 水 分 观测 站 资料 对 检测 方法 的 应 用 效果 进行 
检验 。 同 时 段 的 逐 时 降水 量 .土壤 温度 等 资料 来 自 
距离 被 检 土 壤 水 分 观测 站 5 km 范围 内 最 近 的 地 面 
国家 级 自动 站 或 区 域 站 。 


2 异常 数据 检测 方法 与 流程 


2.1 土壤 体积 含水 量变 化 特征 

降水 是 影响 土壤 体积 含水 量 的 重要 因素 ,发 生 
降水 后 ,土壤 体积 含水 量 升 高 (以 30 em 为 例 ) , 随 着 
降水 对 土壤 水 分 的 入 渗 补给 ,到 达 峰 值 之 后 迅速 下 
降 ,土壤 由 湿 变 干 ,最 终 达 到 稳定 的 特征 曲线 (图 
1a~b); 由 于 冰 的 介 电 常 数 明显 低 于 水 的 介 电 常数 ， 
土壤 水 分 冻结 时 ,土壤 体积 含水 量 明显 低 于 正常 
值 。 同 时 土壤 体积 含水 量 受 温度 影响 明显 ,土壤 
冻 融 过 程 中 ,土壤 体积 含水 量 随 温度 降低 而 减 小 ， 
随 温度 升 高 而 增 大 (图 1c) ;土壤 表层 (0~10 ecm) 是 
整个 土壤 圈 与 外 界 自然 环境 的 接触 面 ,直接 受到 降 
水 .蒸发 等 外 界 环境 影响 , 相 较 于 深层 土壤 ,土壤 体 
积 含水 量变 异 系数 大 "9 。 除 土壤 表层 外 ,其 余 各 层 
土壤 体积 含水 量 之 间 具有 高 相关 性 , 且 相 邻 层 次 土 


为 农业 气象 干旱 监测 预报 工作 提供 可 信和 度 较 高 的 
监测 信息 资料 。 


1 资料 与 方法 


自动 土壤 水 分 传感器 采用 频 域 反射 法 (FDR ) 监 
测 , 基 于 LC 振荡 电路 ,根据 电磁 波 在 介质 中 传播 速 
度 来 测试 介质 的 介 电 常数 ,从 而 测 得 土壤 水 分 。 观 
测 数据 分 为 器 测 值 和 导出 值 ,器 测 值 是 传感器 直接 
测 得 的 频率 或 电压 ;体积 含水 量 是 基于 需 测 值 结 合 
传感器 实验 室 标 定 和 田间 标定 的 参数 方程 计算 而 
得 的 一 级 数据 ;土壤 重量 含水 率 、 相 对 湿度 和 土壤 
有 效 水 分 贮存 量 是 基于 一 级 数据 ,通过 人 工 测定 的 
土壤 水 文物 理 常 数 换算 而 得 的 二 级 数据 。 

自动 土壤 水 分 观测 深度 共有 8 层 , 分 别 是 0~10 
em, 10-20 cm, 20-30 cm 、30~40 cm, 40~50 cm 50~ 
60 cm 、70~80 cm 和 90~100 em。 实际 观测 中 可 根据 
需求 ,结合 土壤 质地 、 地 下 水 位 、 母 质 层 深度 等 进行 
观测 深度 调整 中。 

本 研究 选用 2013 一 2015 年 全 国 2000 余 部 自动 


壤 体 积 含水 量 呈 极 显 著 相 关 , 相 互 作用 明显 
(图 1d)。 
2.2 异常 数据 误差 来 源 分 析 

由 于 传感器 故障 ,在 无 降水 情况 或 24h 降 水 量 
小 于 某 一 临界 值 时 ,前 后 相 邻 时 次 土壤 水 分 发 生 突 
变 ( 图 2a) ;土壤 龟 裂 时 ,土壤 水 分 在 一 段 时 间 内 观 
测 值 持续 下 降 直 至 接近 甚至 达到 0( 图 2b) , AAS 
REEERE LR” ;连续 发 生 降水 时 土壤 体积 含水 
量 长 时 间 保 持 不 变 或 发 生 微小 变化 (图 2c) ;传感器 
标 校 不 合理 或 观测 地 点 的 观测 值 缺 乏 代 表 性 导致 
土壤 水 分 测量 值 和 真实 值 会 存在 系统 误差 ,通过 
适当 的 传感器 标 校 土壤 水 分 值 恢 复 正 常 ( 图 2d)。 
2.3 检测 方法 
2.3.1 基于 频率 特征 的 仪器 故障 检测 方法 (FD) 根 
据 土 壤 水 分 传感器 观测 原理 ,土壤 中 测 的 频率 应 介 
于 空气 频率 和 水 中 频率 之 间 。 通 过 研究 分 析 其 变 
化 特征 确定 界限 值 ,从 而 检测 仪器 故障 引起 的 数据 


错误 。 


fipmin < fin < tD max ( I y 
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1 土壤 体积 含水 量变 化 特征 


Fig. 1 The variation characteristics of soil volumetric water content 
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图 2 土壤 体积 含水 
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Fig. 2 Examples of anomalous soil volumetric water content 
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式 中 : fps 和 fj, 分别 为 :时 刻 D 深 度 的 土壤 传 
感 器 在 水 和 空气 中 所 测 的 频率 值 ; 方 为 :时 刻 刀 深度 
的 土壤 传 感 需 的 测量 值 。 
2.3.2 体积 含水 量 和 相对 湿度 界限 值 检测 (VD & 
RHD) 依据 土壤 水 分 传感器 测量 范围 ,结合 土壤 
质地 的 保水 性 特征 ,以 保水 性 最 好 的 黏土 在 过 饱和 
时 所 能 达到 的 体积 含水 量 为 界限 值 设 定 阔 值 ( 公 式 
2); 但 因 灌 溉 、 强 降水 等 因素 造成 土壤 的 过 饱和 以 
及 田间 持 水 量 参数 测定 偏 小 造成 士 壤 相对 湿度 短 
Hs TREE E 100963 28. , DA — fer b E 2 E BRL EL TU 
(公式 3) ,超过 该 范围 为 粗大 误差 ,数据 错误 。 
VD: 0<X,,<60 (2) 
RHD: 0«Y,,«180 (3) 
IE : VD WARE IK E Bg EL RD ;RHD 为 相对 湿度 
E ELE UU; X, 为 :时 刻 忆 深度 的 土壤 体积 含水 量 
值 ; Yp J EAD REER ERINE 
内 蒙古 赛 罕 区 2019 年 9 月 第 二 层 土 壤 体 积 含 
水 量 异 常 (图 3a 中 红色 标识 ) ,经 与 台 站 核查 为 仪器 
标定 方法 不 适用 ,重新 标定 后 体积 含水 量 观测 值 恢 
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土壤 体积 含水 量 /% 


复 正 常 (图 3a 中 虚线 所 示 ); 青 海边 滩 (X1811)2019 
年 8 月 第 一 层 土壤 相对 湿度 异常 (图 3b 中 红色 标 
VA) ,相对 湿度 在 150%~350% 范 围 波动 ,二 者 均 随 降 
水 有 明显 的 正 响应 关系 ,初步 诊断 为 土壤 水 文物 理 
常数 测定 不 准确 ,经 参数 调整 ,相对 湿度 从 300% 的 
异常 水 平 恢复 到 50% 的 正常 水 平 。 

2.3.3 无 降水 突变 (SBD) 降水 是 影响 土壤 水 分 变 
化 的 重要 变量 ,无 降水 突变 是 基于 二 者 间 的 一 致 性 
关系 而 检测 出 异常 值 的 方法 。 在 某 : 时 刻 ,如 果 24h 
累计 降水 量 小 于 等 于 某 一 临界 值 , 且 满足 公式 (3) 
和 (4) 或 (5) 条 件 , 即 为 异常 值 。 


X? Xy, (4) 

Xy -X a-a) > 25, -249D (5) 
3 

IX, 7 X, yl >3 (6) 


式 中 : XQ 为 天 1 时 刻 刀 深度 的 土壤 体积 含水 量 
值 ; Xoy 为 二 24 时 刻 刀 深度 的 土壤 体积 含水 量 
值 ; sa-a 为 过 去 24 内 深度 为 D 的 土壤 体积 含水 
量 标准 偏差 。24h 累计 降 水 量 临界 值 与 观测 深度 和 


(b) 青海 边 滩 


350 C 10 cm 相对 湿度 ”. 10 cm 相对 湿度 异常 值 


T = 降水 量 
250 E 
200 P 
AW 
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50 i 
2019-08-18 2019-08-25 2019-09-01 
时 间 / 年 -月 -日 
40.8 (d) 湖北 京山 - 20 
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40.4 - 10 cm 体积 含水 量 异常 值 a 
一 降水 量 
40.2 14 
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2019-06-23 
时 间 / 年 -月 -日 


2019-06-3 


图 3 土壤 水 分 观测 资料 异常 数据 检测 个 例 


Fig. 3 Examples of abnormal data detection in soil moisture observation data 


202108.00021v1 


chinaXiv 


ChinaXiv 合 作 期 刊 


李 染 娜 等 ， 自 动土 壤 水 分 观测 资料 异常 数据 检测 方法 


传 感 句 精度 有 关 , 可 用 公式 47) 表示。 
(7) 


式 中 :D 指 传感器 的 观测 深度 (cm) ;4 是 传感器 精 
度 ;p 是 土壤 孔 际 度 。A 通常 取 值 为 0.03 m -m° F 
0.5。 基 于 降水 的 土壤 体积 含水 量 异常 值 检 测 更 适 
用 于 表层 (0~10 em). 
2.3.4 异常 峰值 检测 (SD) 改进 传统 的 峰值 检测 
方法 将 解决 降水 引起 的 土壤 含水 量 升 高 标记 为 错 
误 的 问题 。 基 于 土壤 体积 含水 量 值 时 序 变 化 以 及 
二 次 导数 的 峰值 检测 算法 识别 异常 值 。 若 :时 刻 深 
度 为 万 的 观测 值 较 前 一 时 刻 增加 或 减少 了 至 少 
15% , 则 该 时 刻 的 观测 值 是 一 个 潜在 的 异常 峰值 。 
Žo >115 或 -2 <085 (8) 
(IJ (-DD 
增加 二 阶 导数 对 上 述 潜 在 异常 峰值 进行 进 一 
步 检 测 ,t-1 和 1+1 时 刻 的 土壤 体积 含水 量 二 阶 导数 
(Xpp、 Xt. go ) 的 比率 介 于 0.8~1.2 之 间 , 反 之 异 


常 , 即 


y? 
0.8< | 59^ <12 (9) 


(t 1)D 
其 中 ,二 阶 导数 采用 Savitzky-Golay 3 h PR 
导 和 二 项 多 项 式 拟 合 求 得 , 即 
Ke COREE AIN e 
U citas) al 
由 于 二 阶 导 数 不 适 用 于 随机 噪声 ,在 满足 上 述 
条 件 基 础 上 增加 检测 :时刻 前 后 12h 内 土壤 体积 含 
水 量 的 平均 值 (m) 与 方差 (3 ) 的 关系 , 即 
SUE cassa t 
m(X, i, X 


ap) <1 (11) 


cr 
如 果 体 积 含水 量 观测 值 同时 满足 公式 (8)- 
(11) , 则 该 值 为 异常 峰值 。 
广东 紫金 站 2019 年 8 月 第 一 层 土壤 体积 含水 
量 异 常 (图 3c 中 红色 标识 ) ,体积 含水 量 随 降 水 无 明 
显 的 正 响应 关系 ,观测 值 在 26.5%~36.5% 间 呈 锯 此 
状 变 化 ,与 土壤 水 分 变化 特征 不 符 。 
2.3.5 恒 值 检测 (CD) 人 恒 值 检测 也 称 最 小 变 率 检 
测 ,由 于 观测 仪器 发 生 故 障 .霜冻 等 原因 造成 观测 
值 长 时 间 不 变 或 微 变 ,引起 观测 记录 不 真实 ;为 区 
别 降水 造成 的 土壤 水 分 正常 过 饱和 , 需 持续 达到 一 
定时 间 ,土壤 体积 含水 量 的 变化 小 于 传感器 精度 的 


196, Bj 0.0005 n? m? , 见 公式 (12)-(13)。 
10-20 cm HJ HH 48 h 内 最 高 值 和 最 低 值 检 测 恒 
值 , 即 
Kio, < 0.0005 (12) 


min(48 h) 
30-50 cm 可 用 15 d 内 最 高 值 和 最 低 值 检测 恒 
值 , 即 


X -X , «0.0005 (13) 


max(15 d) min(15 d 

湖北 京山 站 (57387)2019 年 6 月 第 一 层 土壤 体 
积 含 水 量 异 常 (图 3d) ,长 时 间 维 持 在 39.8% ,与 土壤 
水 分 变化 特征 不 符 。 
2.4 检测 流程 

本 文 借鉴 ISMN 提出 的 谱 分 析 方 法 思路 , 制 
定 土 壤 水 分 数据 质量 控制 和 综合 分 析 流 程 ,同时 参 
照 地 面 气象 观测 资料 质量 控制 标识 所 设计 土壤 水 
分 观测 数据 质量 标识 ,异常 数据 检测 流程 见 图 4。 

待 检 数 据 缺 测 或 缺 报 , 缺 测 层 各 要 素质 探 码 标 
记 为 8, 不 再 进行 其 他 检查 ; 待 检 数 据 频率 未 通过 检 
BE ,相应 层 传感器 故障 、 各 要 素 判 断 错误 , 质 控 人 码 标 


土壤 水 分 
待 检 数 据 


数据 缺 测 检测 QC=8 
QC=0 


传感器 频率 检测 QC=2 


na 
土壤 体积 含水 量 
奇异 值 检测 


Y 
ELERA] 
降水 参考 数据 ( 含 相对 湿度 ) 地 温 参 考 数据 
oco QC Ea i 


Qc0,2 LT Qc-0,12 e 
QC=0,1,2 


TE QC 为 质量 控制 码 。 
图 4 土壤 水 分 自动 观测 异常 数据 检测 流程 


Fig.4 Abnormal data detection process of automatic soil 


moisture observation 
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记 为 2 ,不 再 进行 其 他 检查 ;体积 含水 量 和 相对 湿度 
未 通过 姜 值 检查 , 质 控 码 标记 为 2, 相 应 层 观测 数据 
质 控 码 标记 为 2, 不 再 进行 其 他 检查 。 

无 降水 突变 检测 .异常 峰值 检测 \ 恒 值 检测 三 
项 检查 中 ,任意 一 项 未 通过 检查 ,判定 为 错误 或 可 
疑 , 则 体积 含水 量 质量 标记 为 2 或 1, 三 项 检查 均 正 
确 ,质量 标记 为 0, 其 他 要 素 采 用 与 体积 含水 量 相同 
的 标记 。 


3 土壤 水 分 观测 资料 检验 与 分 析 


3.1 基于 频率 特征 的 传感器 故障 检测 

依据 全 国 725 个 土壤 水 分 自动 站 5295 支 传 感 
器 在 空气 和 水 中 频率 的 分 布 特征 (图 $) , 传 感 需 在 
水 中 频率 值 主要 集中 在 41~44 之 间 , 占 71.90%; 传 
感 器 在 空气 中 频率 值 主要 集中 在 67~72 之 间 , 占 


25 (a) 空气 中 频率 


20 


58 60 62 64 66 68 70 72 74 76 
频率 /Hz 


图 5 土壤 水 分 传 感 融 在 空气 和 水 中 频率 分 布 特征 


百分比 /% 


72.31%。 由 于 不 同 地 区 土壤 中 有 机 质 含量 、 
等 不 同 ,频率 界限 略 有 差异 。 

以 2015 年 新 疆 维吾尔 自治 区 34 个 自动 土壤 水 
分 站 数据 为 检验 对 象 , 表 1 给 出 了 频率 值 检验 
(FD)、 体 积 含水 量 值 检验 (VD ) 结 果 对 比 。FD 异常 
值 检 出 量 为 64817 个 , 约 占 7.4%,VD 异常 值 检 出 量 
为 38537 个 , 约 占 4.4% ,经 核定 福海 等 站 检 出 的 异 
常 值 全 部 是 由 传感器 故障 引起 的 ,FD 法 能 更 好 的 定 
位 到 数据 质量 问题 源 。 

分 析 异 常数 据 中 FD 异常 值 和 VD 异常 值 的 数 
量 (图 6)。 新 疆 北 部 和 中 部 等 7 站 FD 异常 值 数量 明 
显 较 其 他 站 点 多 ,新 疆 西 部 站 点 异常 值 则 善 遍 较 
少 , 因 此 ,FD 检 出 异常 值 较 少 的 站 点 有 效 数 据 质量 
一 般 较 高 ,而 FD 检 出 的 异常 值 主要 由 传感器 故障 
引起 。 各 站 点 VD 检 出 的 异常 值 一 般 少 于 5000 个 ， 
但 炮台 站 的 VD 异常 值 检 出 量 达 到 129700 个 , 乍 康 


40° @) 水 中 频率 


36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 
频率 /Hz 


Fig. 5 Frequency distribution characteristics of soil moisture sensor in air and water 


表 1 2 种 方法 异常 值 检验 结果 对 比 
Tab. 1 Comparison of abnormal data detection results by 
three methods 


率 为 4.5%。 其 中 ,VD RHD SBD FI CD 异常 数据 检 
出 率 分 别 为 0.3% , 1.196 .0.1% 和 1.79%。 

图 7 给 出 4 种 方法 检测 的 土壤 水 分 观测 数据 质 
量 空间 分 布 情况 。VD 和 RHD 异常 值 检 出 量 相对 较 


指标 VD FD 
异常 值 数量 /个 38537 64817 
百分比 /% 4.4 7.4 


TE: VD 为 体积 含水 量 值 检验 ;FD 为 频率 值 检 验 。 


与 岳 普 湖 的 VD 异常 值 检 出 量 也 较 高 。 
3.2 基于 体积 含水 量 的 异常 值 检 验 分 析 

应 用 第 2 节 异 常数 据 检测 方案 和 流程 ,对 2019 
年 6 一 9 月 的 2088 个 自动 土壤 水 分 站 小 时 资料 进行 
了 检测 ,数据 正确 率 为 93.8% , 疑 误 率 为 1.7% , 缺 测 


高 , 且 以 少量 站 点 长 时 间 质 量 问题 为 主 。 其 中 ， 
RHD 异常 值 检 出 量 最 高 达 48x10; 条 , 占 全 网 观测 站 
点 10.5%, 以 青海 省 问题 最 为 突出 。 该 类 质量 问题 
主要 由 人 工 土壤 水 文物 理 常数 测定 不 准 引 起 。VD 
异常 值 检 出 量 次 之 ,为 11x10; 条 , 占 全 网 观测 站 点 
13.9% , 主要 分 布 在 黑龙 江 .青海 和 广东 等 地 。 该 类 
质量 问题 主要 由 设备 故障 引起 。SBD 和 CD 异常 值 
检 出 量 相 对 较 低 ,分 别 为 3x10 条 和 1x10 条 , 占 全 
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注 :该 图 基于 国家 测绘 地 理 信息 局 标准 地 图 服务 网 站 下 载 的 审 图 号 为 GS(2017)3320 号 的 标准 地 图 制作 , 底 图 无 修改 。 
图 6 2015 年 新 疆 维吾尔 自治 区 自动 站 土壤 水 分 数据 频率 检测 和 体积 含水 量 检 测 异常 值 


Fig.6 Abnormal values were detected by frequency and volumetric water content of Xinjiang Uygur Autonomous Region in 2015 
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注 : 审 图 号 GS(2021)3066 号 。 下 同 。 
图 7 异常 站 点 的 空间 分 布 
Fig.7 Spatial distribution of abnormal sites 
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网 观测 站 点 86.7% 和 48.1%。 上 述 两 类 质量 问题 主 
要 由 传 感 需 标定 或 设备 性 能 下 降 等 引起 。 

图 8a~c 给 出 VD RHD Ail SBD 3 种 方法 检测 的 
土壤 水 分 异常 值 层次 分 布 情况 。 土 壤 水 分 异常 值 
主要 集中 在 浅 层 和 中 层 (0~50 em). VD 异常 值 检 出 
站 数 各 层 基 本 持平 ,在 80~126 范围 波动 ,但 疑 误 率 
随 观测 深度 呈 先 增 后 降 再 升 的 变化 趋势 ,100 cm BE 
误 率 最 高 为 0.44% , 主要 出 现在 四 川 广东 等 省 , 初 
步 分 析 可 能 与 下 热 面 或 地 下 水 位 有 关 ( 图 ga)。 各 
层 RHD 异常 值 检 出 站 点 数 随 观 测 深 度 呈 下 降 趋 势 
且 波 动 范 围 较 大 ,在 40~146 变 化 ,0~50 em 观测 层 疑 
误 率 保持 平稳 ,基本 在 1.28%~1.43% 范 围 波动 (图 
8b)。SBD 异常 值 检 出 站 数 与 疑 误 率 均 随 观测 深度 
FLAW GB AGER AS, 10 em 疑 误 率 最 高 0.19% ,这 可 能 
是 土壤 表层 土壤 水 分 易 受 外 部 环境 (降水 .蒸发 等 ) 
影响 造成 (图 8c)。 图 9 给 出 了 基于 VD、RHD 和 
SBD 3 种 方法 整个 观测 层 均 检 出 异常 值 的 站 点 分 布 
情况 。 从 空间 分 布 看 ,主要 集中 在 新 疆 青海、 四 
川 河南 和 贵州 等 地 ,为 提醒 装备 保障 人 员 及 时 进 


140r (a VD -0.45 
mm VD 疑 误 站 点 数 
120- 一 VD 疑 误 率 0.40 
< 100. 
5 80} 10.35 
Ei 
g "r | 0.30 
40r 
0.25 
20r 
0.20 


10 20 30 40 50 60 80 100 
观测 层次 /cm 


1800 p 
1600 - 
1400 + 
S 1200 - 


疑 误 率 /% 
疑 误 站 点 数 /个 


行 设备 标定 和 维护 提供 技术 支撑 。 
4 结论 


为 吻 除 自动 土壤 水 分 观测 资料 中 的 异常 数据 ， 
本 文 提 出 了 一 套 适 用 于 自动 土壤 水 分 观测 中 的 异 
第 数据 检测 方法 。 以 历史 自动 土壤 水 分 站 观测 资 
料 , 研 究 自 动土 壤 水 分 观测 资料 固有 变化 特征 , 结 
合 仪器 观测 原理 数据 特征 和 异常 数据 误差 来 源 ， 
分 析 异 常数 据 并 制定 质 控 方法 ,采用 2019 年 全 国土 
壤 水 分 观测 资料 对 异常 数据 检测 方法 应 用 效果 进 
行 检 验 。 结 果 表 明 : 

(1) 基于 频率 特征 仪器 故障 检测 方法 ,通过 引 
人 传感器 直接 测量 值 在 空气 和 水 中 频率 值 变 化 特 
征 ,可 有 效 检测 出 因 仪器 故障 引起 的 错误 数据 , 准 
确 率 达 100%。 

(2) 结合 土壤 水 分 观测 中 的 突出 质量 问题 , 基 
于 土壤 水 分 观测 资料 固有 特征 及 异常 数据 误差 来 
源 ,设计 的 VD RHD SBD 和 CD 四 类 检测 方法 可 有 
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图 8 异常 数据 各 层次 分 布 


Fig. 8 Level distribution of abnormal data 
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图 9 异常 数据 空间 分 布 


Fig.9 Spatial distribution of abnormal data 


效 检测 出 土壤 水 分 观测 中 的 异常 数据 ,可 帮助 用 户 
快速 发 现 并 解决 观测 端 引 起 的 质量 问题 。 

(3) 2019 年 6 一 9 月 的 全 国 自动 土壤 水 分 站 小 
时 资料 数据 正确 率 为 93.8% , 疑 误 率 为 1.7% , dedil] 
为 4.5%; 蜡 常数 据 主要 分 布 在 青海 .四川 .山东 ` 河 
北 和 广东 等 地 ,土壤 表层 (0~20 em) 疑 误 率 较 高 , 少 
数 站 点 出 现 整个 观测 层 异 常情 况 ; 全 国 大 部 分 土壤 
水 分 自动 站 存在 数据 质量 异常 现象 ,以 少数 站 点 存 
在 长 期 性 质量 问题 为 主 , 主 要 由 传感器 标定 或 土壤 
水 文物 理 常 数 测定 不 准 等 原因 造成 。 

(4) 该 方法 已 初步 应 用 于 国家 级 综合 气象 观测 
数据 质量 控制 业务 系统 (天 衡 ) ,为 进一步 提高 该 方 
法 的 适用 性 和 准确 性 , 需 针对 土壤 水 分 实际 观测 中 
各 种 异常 数据 以 及 持续 一 段 时 间 的 异常 峰值 和 突 
降 数据 进行 自动 检测 方法 研究 ,以 期 进一步 提高 土 
壤 水 分 数据 质量 。 
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ZWAR: 自动 土壤 水 分 观测 资料 异常 数据 检测 方法 


Anomaly data detection method for in situ automatic soil moisture observation 


LI Cuina', LIU Tianq?, WU Dongli' 
(1. Meteorological Observation Centre, CMA, Beijing 100081, Beijing, China; 2. Inner Mongolia Meteorological Information Center, 
CMA, Hohhot 010051, Inner Mongolia, China) 


Abstract: Soil moisture plays a crucial role in the study of agricultural drought monitoring, yield prediction, and 
soil erosion, which are of great significance for agriculture, drought, and climate studies. Automatic soil moisture 
observation instruments have become an important component of the automatic soil moisture observation stations 
run by the meteorological department in China given their high precision, high spatial and temporal resolution, 
and nondestructive capabilities. The accuracy of data obtained through the process of observing soil moisture is 
seriously affected by the calibration methods used, the stability of the equipment, and the texture of the soil. 
Thus, it is especially important to establish a quality control method for automatic soil moisture observation data 
that are free from these error sources that affect the observation quality. In attempting to solve the outstanding 
quality problems in automatic soil moisture observation data, this paper studies the inherent variation 
characteristics of soil moisture on the basis of the data obtained by the automatic soil moisture observation 
stations in China between 2013 and 2015. Combined with the instrument observation principle and the data 
characteristics and error sources of abnormal data, this study classifies and statistically analyzes the form of the 
abnormal data, and given the threshold, it puts forward a preliminary practical set of quality control methods for 
the hourly soil moisture observation data, which includes frequency detection (FD), threshold detection for 
volume moisture content and relative humidity, break drop detection, sudden change detection, and constant 
detection. The application effect of this quality control method has been verified using data obtained in China in 
2019. The results show that (1) the four main categories of abnormal data are gross errors, mutations, abnormally 
high values, and stiffness; these are mainly caused by instrument failure, abnormal soil hydrological constants, 
and unreasonable calibration of sensors. (2) Based on the FD method, which analyzes the change characteristics 
through the frequency values measured by the sensors in the air and water, this quality control method can 
effectively detect the abnormal data caused by instrument failure, with the accuracy rate reaching 100%. (3) The 
evaluation results from the hourly data of the national automatic soil moisture stations from June to September 
2019 show that the accuracy rate of data is 93.8%, the abnormal rate is 1.7%, and the missing rate is 4.5%. The 
abnormal data are mainly distributed in the Qinghai, Sichuan, Shandong, Hebei, and Guangdong Provinces. The 
soil surface layer (0-20 cm) has a higher proportion of anomalous data than that of other layers, and only a few 
stations have an anomaly within the whole observation layer. Although the abnormal phenomena can be observed 
at most sites across the country, the primary problem is that a small number of sites have long-term abnormalities, 
which have been caused either by the calibration of the sensor or the inaccurate determination of the soil’ s 
hydrological and physical constants. (4) This quality control method can effectively detect abnormal data in 
China. Presently, it has been applied to the Integrated Meteorology Observation Data Quality Control System. 

Key words: automatic soil moisture observation; quality control; abnormal data; instrument observation princi- 
ple 


